Núi hình thành từ kỷ Devon, trong cuộc vận động tạo núi Indonesia. Đỉnh cao nhất của núi có hình ngọn mác chĩa lên trời, đấy là cốt + 168 m, phía dưới có nhiều ngọn, nhiều mỏm chông chênh, vách đá dựng đứng, những lèn đá tai mèo nhọn hoắt làm cho núi có một vẻ cổ kính, huyền bí.

Từ nhiều góc độ người ta nhìn thấy núi có lúc dáng như hổ phục, lúc có dáng như sư tử vờn mồi, lúc có dáng như con rồng sắp cất cánh.

Núi Bài Thơ thuở xưa có tên núi Rọi Đèn, tên chữ là Truyền Đăng Sơn. Tương truyền rằng, ngày xưa lính thú gác trên núi hễ có giặc giã đến thì đốt lửa báo về kinh thành. Từ đó xuất hiện tên núi Truyền Đăng.

Năm 1468, vào dịp mùa xuân, năm Quang Thuận thứ 9, đời vua Lê Thánh Tông, cháu nội của Lê Lợi, đưa quân đi tuần ở vùng biển Đông Bắc, có dừng thuyền ở chân núi Truyền Đăng, phía giáp với Vịnh Hạ Long, để uống rượu ngâm thơ. Xúc động trước cảnh đẹp sơn thủy hữu tình của thiên nhiên, nhà thơ - nhà vua Lê Thánh Tông đã cho khắc một bài thơ lên vách đá tạm dịch ý như sau:

Nước lớn mênh mông, trăm sông chầu vàoNúi non, la liệt rải rác như quân cờ, vách đá liền trờiCó tráng trí, nhưng lúc mới dựng nghiệp vẫn theo người, như quẻHàm hào cửu tam (đã định)Nay một tay mặc sức tung hoành, quyền uy như thần gióPhía bắc, bọn giặc giã như hùm beo đã dẹp yênVùng biển phía đông, khói chiến tranh đã tắtMuôn thuở trời Nam, non sông bền vữngBây giờ chính là lúc giảm việc võ, tu sửa việc văn.

Bài thơ này được khắc trên một vách đá khá phẳng, cách mặt đất chừng 2,5 m, gồm 56 chữ Hán, khắc liền một mạch, không phân câu như hiện nay chép lại. Trong 56 chữ trên có 21 chữ đã mờ hẳn, không thể đọc nổi, những chữ còn lại rất mờ. Trước phần thơ có phần lạc khoản (đề tựa) gồm 49 chữ, cũng bị phân hóa gần như hoàn toàn. May mắn, bài thơ trên có chép trong thư tịch cổ, nên đó chính là chỗ dựa của các nhà nghiên cứu.

261 năm sau, vào năm 1729 chúa An Đô Vương Trịnh Cương, một nhà thơ có tiếng thời Lê - Trịnh, cũng đem quân đi tuần qua đây. Ông cho đóng quân đồn trú dưới chân núi Truyền Đăng. Đọc thấy bài thơ của vua Lê Thánh Tông, chúa Trịnh bèn họa lại bằng một bài thất ngôn bát cú, lấy theo vần "yên" của bài trước, dùng lại 4 chữ "thiên" "quyền" "yêu" "niên" trong bài của Lê Thánh Tông. Bản dịch của Hà Minh bài thơ họa của Trịnh Cương:

Biển rộng mênh mang, nước dâng đầyNúi chìm xuống nước, nước tràn mâyBàn tay tạo hóa sao khéo dựngCảnh đẹp thần tiên một chốn này.Mùi tanh giặc thác còn đâu đóCỏ hoa sương khói vẫn còn đâyBa quân tướng sĩ đều vui vẻBữa tiệc biển khơi chén rượu đầy.

Bài thơ của Trịnh Cương được khắc theo lối chữ hành, trên một vách đá nghiêng xuống đất, nên tránh được hủy hoại của nước mưa, đến nay còn rõ nguyên, rất dễ đọc.

Đến đầu thế kỷ 20 nhiều tao nhân, mặc khách đi du ngoạn vùng Hạ Long, gặp bài thơ này lại cho khắc 7 bài thơ nữa, có bài chữ Hán, có bài chữ Quốc ngữ trên những vách đá lân cận. Tổng số bây giờ có chín bài thơ còn lưu truyền trên vách đá.